The performance of decision policies and prediction models often deteriorates when applied to environments different from the ones seen during training. To ensure reliable operation, we propose and analyze the stability of a system under distribution shift, which is defined as the smallest change in the underlying environment that causes the system's performance to deteriorate beyond a permissible threshold. In contrast to standard tail risk measures and distributionally robust losses that require the specification of a plausible magnitude of distribution shift, the stability measure is defined in terms of a more intuitive quantity: the level of acceptable performance degradation. We develop a minimax optimal estimator of stability and analyze its convergence rate, which exhibits a fundamental phase shift behavior. Our characterization of the minimax convergence rate shows that evaluating stability against large performance degradation incurs a statistical cost. Empirically, we demonstrate the practical utility of our stability framework by using it to compare system designs on problems where robustness to distribution shift is critical.
translated by 谷歌翻译
最大化模型准确性的常规配方是（1）具有各种超参数的多个模型，以及（2）选择在固定验证集中表现最佳的单个模型，从而丢弃其余部分。在本文中，我们在微调大型预训练的模型的背景下重新审视了该过程的第二步，其中微调模型通常位于单个低误差盆地中。我们表明，平均多种模型的权重以不同的超参数配置进行了微调通常提高准确性和鲁棒性。与传统的合奏不同，我们可能会平均许多模型，而不会产生任何其他推理或记忆成本 - 我们将结果称为“模型汤”。当微调大型预训练的模型，例如夹子，Align和VIT-G在JFT上预先训练的VIT-G时，我们的汤食谱可为ImageNet上的超参数扫描中的最佳模型提供显着改进。所得的VIT-G模型在Imagenet上达到90.94％的TOP-1准确性，实现了新的最新状态。此外，我们表明，模型汤方法扩展到多个图像分类和自然语言处理任务，改善分发性能，并改善新下游任务的零局部性。最后，我们通过分析将权重平衡和与logit浓度的性能相似与预测的损失和信心的平坦度联系起来，并经过经验验证这种关系。代码可从https://github.com/mlfoundations/model-soups获得。
translated by 谷歌翻译
执行零摄像推理时（即，在特定数据集上不进行微调）时，大型预训练的模型（例如剪辑或ALIGN）在一系列数据分布中提供一致的精度。尽管现有的微调方法显着提高了给定目标分布的准确性，但它们通常会降低分配变化的稳健性。我们通过引入一种简单有效的方法来提高鲁棒性，同时进行微调：结合零拍和微调模型（Wise-ft）的重量。与标准的微调相比，Wise-FT在分配变化下提供了巨大的准确性提高，同时保留了目标分布的高精度。在Imagenet和五个派生的分布变化上，Wise-FT在先前的工作中提高了分布转移的准确性4至6个百分点（PP），同时将Imagenet精度提高1.6pp。Wise-ft的稳健性相似（2至23 pp），明智之前与七个常用的转移学习数据集的标准微调相比，在一组进一步的分配转移的各种集合中，准确性增长率为0.8至3.3 pp。这些改进在微调或推理期间没有任何额外的计算成本。
translated by 谷歌翻译
尽管现代的大规模数据集通常由异质亚群（例如，多个人口统计组或多个文本语料库）组成 - 最小化平均损失的标准实践并不能保证所有亚人群中均匀的低损失。我们提出了一个凸面程序，该过程控制给定尺寸的所有亚群中最差的表现。我们的程序包括有限样本（非参数）收敛的保证，可以保证最坏的亚群。从经验上讲，我们观察到词汇相似性，葡萄酒质量和累犯预测任务，我们最糟糕的程序学习了对不看到看不见的亚人群的模型。
translated by 谷歌翻译
Machine learning models (e.g., speech recognizers) are usually trained to minimize average loss, which results in representation disparityminority groups (e.g., non-native speakers) contribute less to the training objective and thus tend to suffer higher loss. Worse, as model accuracy affects user retention, a minority group can shrink over time. In this paper, we first show that the status quo of empirical risk minimization (ERM) amplifies representation disparity over time, which can even make initially fair models unfair. To mitigate this, we develop an approach based on distributionally robust optimization (DRO), which minimizes the worst case risk over all distributions close to the empirical distribution. We prove that this approach controls the risk of the minority group at each time step, in the spirit of Rawlsian distributive justice, while remaining oblivious to the identity of the groups. We demonstrate that DRO prevents disparity amplification on examples where ERM fails, and show improvements in minority group user satisfaction in a real-world text autocomplete task.
translated by 谷歌翻译
We are concerned with learning models that generalize well to different unseen domains. We consider a worst-case formulation over data distributions that are near the source domain in the feature space. Only using training data from a single source distribution, we propose an iterative procedure that augments the dataset with examples from a fictitious target domain that is "hard" under the current model. We show that our iterative scheme is an adaptive data augmentation method where we append adversarial examples at each iteration. For softmax losses, we show that our method is a data-dependent regularization scheme that behaves differently from classical regularizers that regularize towards zero (e.g., ridge or lasso). On digit recognition and semantic segmentation tasks, our method learns models improve performance across a range of a priori unknown target domains.
translated by 谷歌翻译
我们提供了静态分析，用于发现给定概率程序的可区分或更普遍的平滑部分，并展示如何使用分析来改善路径梯度估计器，这是后验推理和模型学习的最流行方法之一。我们的改进将估计器的范围从可区分模型到非差异性模型的范围，而无需用户手动干预；改进的估计器会使用我们的静态分析自动识别给定概率程序的可区分部分，并将路径梯度估计器应用于已识别的零件，同时使用程序的其余部分使用更通用但效率较低的估计器（称为得分估计器）。我们的分析具有令人惊讶的微妙的声音论点，部分原因是从程序分析设计师的角度看待某些目标平滑性属性的不当行为。例如，某些平滑度属性不能通过函数组成保留，这使得在不牺牲精度的情况下很难分析顺序组成。我们在目标平滑度属性上制定了五个假设，证明了我们在这些假设下的分析的健全性，并表明我们的主要示例满足了这些假设。我们还表明，通过使用分析中的信息，我们的改进梯度估计器满足了重要的可不同性要求，因此，在轻度的规律性条件下，平均计算正确的估计值，即，它返回无偏见的估计值。我们在Pyro语言中使用代表性概率程序进行的实验表明，我们的静态分析能够准确地识别这些程序的平滑部分，并使我们改进的路径梯度估计器利用这些程序中的所有高性能机会。
translated by 谷歌翻译
SATNET是具有自定义反向传播算法的可区分约束求解器，可以用作深度学习系统中的层。这是弥合深度学习和逻辑推理的有前途的建议。实际上，卫星已成功地用于学习复杂的逻辑难题的规则，例如sudoku，仅来自输入和输出对，其中输入以图像为图像。在本文中，我们通过在给定但未知的逻辑难题的目标规则中利用对称性或更一般的逻辑公式来展示如何通过在目标规则中利用对称性来改善卫星的学习。我们提出Symsatnet，这是卫星的变体，将目标规则的给定对称性转换为卫星参数的条件，并要求参数应具有保证条件的特定参数形式。需求大大减少了用足够的对称性学习规则的参数数量，并使Symsatnet的参数学习比Satnet更容易。我们还描述了一种从示例中自动发现目标规则对称的技术。我们对Sudoku和Rubik的立方体进行的实验表明，在基线卫星上，Symsatnet的大幅改进。
translated by 谷歌翻译
最大程度地减少具有随机梯度下降（SGD）的包容性kullback-leibler（KL）差异，因为其梯度被定义为后部的积分。最近，已经提出了多种方法运行SGD，并从马尔可夫链中获得了偏置梯度估计。本文通过建立混合速率和梯度方差，对这些方法进行了首次对这些方法的非反应收敛分析。为此，我们证明了这些方法 - 我们共同将其称为马尔可夫链得分上升（MCSA）方法can被视为马尔可夫链梯度下降框架的特殊情况。此外，通过利用这种新的理解，我们开发了一种新颖的MCSA方案，即Parallal MCSA（PMCSA），该方案在梯度方差上实现了更严格的结合。我们证明了这一改进的理论结果转化为卓越的经验表现。
translated by 谷歌翻译
在低资源设置中，深神经模型通常由于过度装备而常见的性能。解决过度拟合问题的主要方法是概括模型参数。为此，许多研究人员依赖于各种操纵技术的大型外部资源。在这项研究中，我们讨论如何在没有外部数据集和模型操作的情况下利用低资源设置中的所有可用样本。本研究重点是自然语言处理任务。我们提出了一种简单的算法，可以找到良好的初始化参数，从而提高对小样本集的鲁棒性。我们应用早期停止技术，使所有样品都能培训。最后，建议的学习策略是用良好的初始化参数训练所有样本，并通过早期停止技术停止模型。广泛的实验是在七个公共句子分类数据集中进行的，结果表明，拟议的学习策略比七个数据集的几个最先进的工作更好地实现了更好的性能。
translated by 谷歌翻译